OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
OnTrack:流式结构感知最优传输用于 LLM Agent 轨迹实时监控与干预
🧭 Agent 实时轨迹监控与干预 ★ 深度解读
Cribl AI Research Lab
将 Agent 执行轨迹建模为增长 DAG,用流式结构感知最优传输与成功参考实时对齐,毫秒级识别失败前兆并提前中止
📌 工作参考价值(4 点)
- 对电商/广告投放 Agent 中的不可逆操作(改价、发券、退款、删记录)增加一个预执行门:用工具 schema 标注可逆性,执行前同步检查必需的前置产物是否存在,并可选地与历史成功轨迹做一次提案对齐;成本远低于 LLM-as-judge,且可实时阻断。
- 监控能力按可用信息分层降级:无参考时仍可检测 loop/stall(重复工具调用但无新信息);有成功轨迹时将轨迹建成 DAG 做结构感知 OT 对齐,能发现因果倒置/幻觉分支;参考轨迹按来源分级(gold/mined 可自动干预,planner 生成只警告),避免误杀。
- 在线部署轨迹对齐时不要每步重算 OT:维护 warm-start coupling,每事件只做一次 Sinkhorn/条件梯度迭代,仅当需要干预时才跑收敛解,可将单步延迟压到 1ms 级;这对实时监控 Agent 链路可复用。
- 干预策略不要用 naive 的首次 flag 即 abort,而应使用 severe flag 密度 + 滚动窗口阈值;论文显示首次 flag 误杀率接近 99%。部署前需要在 held-out 流量上标定阈值,并验证 false stop 率。